# 자기 주의

자기 주의(자기어텐션, Self-Attention)는 딥러닝, 특히 인공지능 자연어 처리(NLP) 분야에서 핵심적인 역할을 하는 신망 구성 요소. 이 메커니즘은 입력 시퀀스 내의 각 요소가 다른 요소들과 어떻게 관계되는지를 모델이 학습할 수 있도록 하며, 전통적인 순환 신경망(RNN)이나 합성곱 신경망(CNN)보다 더 유연하고 강력한 표현 능력을 제공합니다. 자기 주의는 2017년 구글의 "Attention is All You Need" 논문에서 제안된 트랜스포머(Transformer) 아키텍처의 핵심 구성 요소로, 이후 대부분의 최신 언어 모델(예: BERT, GPT 등)의 기반이 되었습니다.

## 개요

자기 주의는 입력 데이터 내에서 각 위치의 표현이 다른 위치의 정보를 참조할 수 있도록 하는 메커니즘입니다. 예를 들어, 문장에서 특정 단어가 다른 단어들과 어떤 관계를 맺고 있는지를 파악하는 데 사용됩니다. 이 과정을 통해 모델은 문맥상 중요한 단어들 간의 의존성을 효과적으로 포착할 수 있습니다.

자기 주의는 **쿼리(Query)**, **키(Key)**, **값(Value)** 세 가지 벡터를 기반으로 작동하며, 이는 입력 표현을 선형 변환하여 생성됩니다. 각 요소는 자신의 쿼리를 사용해 다른 요소의 키와 내적(dot product)을 계산하고, 그 결과에 따라 값들을 가중합하여 최종 출력을 생성합니다.

## 자기 주의의 작동 원리

자기 주의 메커니즘은 다음의 단계로 구성됩니다:

### 1. 입력 표현의 변환

입력 시퀀스 \( X = [x_1, x_2, ..., x_n] \)가 주어졌을 때, 각 \( x_i \)는 아래의 세 가지 행렬을 통해 변환됩니다:

- **쿼리 행렬 \( W_Q \)** → \( Q = XW_Q \)
- **키 행렬 \( W_K \)** → \( K = XW_K \)
- **값 행렬 \( W_V \)** → \( V = XW_V \)

여기서 \( W_Q, W_K, W_V \)는 학습 가능한 가중치 행렬입니다.

### 2. 어텐션 스코어 계산

쿼리와 키의 내적을 통해 각 단어 쌍 간의 관련성을 측정합니다:

\[
\text{Attention Score} = \frac{QK^T}{\sqrt{d_k}}
\]

여기서 \( d_k \)는 키 벡터의 차원 수이며, 스케일링을 통해 기울기 소실을 방지합니다.

### 3. 소프트맥스 정규화

각 행에 대해 소프트맥스 함수를 적용하여 어텐션 가중치를 확률 분포로 변환합니다:

\[
\text{Weights} = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)
\]

### 4. 가중합 계산

계산된 가중치를 사용해 값 행렬 \( V \)에 가중합을 수행하여 최종 출력을 얻습니다:

\[
\text{Output} = \text{Weights} \cdot V
\]

이 출력은 각 입력 위치에 대한 새로운 표현으로, 문맥 정보를 반영한 강화된 벡터입니다.

## 다중 헤드 자기 주의 (Multi-Head Self-Attention)

단일 자기 주의 메커니즘은 제한된 표현력을 가질 수 있습니다. 이를 보완하기 위해 **다중 헤드 자기 주의**가 도입되었습니다. 이 방식은 여러 개의 독립적인 자기 주의 헤드를 병렬로 실행하고, 각 헤드가 서로 다른 표현 하위공간(subspace)에서 어텐션을 학습하도록 합니다.

각 헤드는 독립적인 \( W_Q^h, W_K^h, W_V^h \) 행렬을 사용하며, 최종적으로 모든 헤드의 출력을 연결(concatenate)한 후 선형 변환을 통해 통합된 출력을 생성합니다:

\[
\text{MultiHead}(Q, K, V) = \text{Concat}(\text{head}_1, ..., \text{head}_h)W_O
\]

여기서 \( W_O \)는 최종 출력을 위한 합성 행렬입니다.

다중 헤드 구조는 모델이 다양한 유형의 관계(예: 문법적, 의미적, 지시적 관계)를 동시에 학습할 수 있게 해줍니다.

## 자기 주의의 장점

- **장기 의존성 처리**: RNN과 달리 순차 처리가 필요 없어 장거리 단어 간 의존성을 쉽게 포착 가능.
- **병렬 처리**: 전체 시퀀스에 대해 동시에 어텐션 계산이 가능하여 학습 속도 향상.
- **해석 가능성**: 어텐션 가중치를 시각화하면 모델이 어떤 단어에 주목했는지 직관적으로 확인 가능.

## 활용 분야

자기 주의는 다음과 같은 분야에서 널리 사용됩니다:

- **기계 번역**: 입력과 출력 간의 단어 정렬 학습.
- **문장 분류 및 감성 분석**: 문맥 정보 기반 의미 이해.
- **질의 응답 시스템**: 질문과 관련된 문장 내 정보 추출.
- **요약 생성**: 핵심 문장을 식별하고 요약.

## 관련 기술 및 아키텍처

- **트랜스포머**(Transformer): 자기 주의를 기반으로 한 인코더-디코더 구조.
- **BERT**(Bidirectional Encoder Representations from Transformers): 양방향 자기 주의를 사용한 사전 학습 모델.
- **GPT**(Generative Pre-trained Transformer): 단방향 자기 주의 기반 생성 모델.

## 참고 자료

- Vaswani, A. et al. (2017). ["Attention is All You Need"](https://arxiv.org/abs/1706.03762). *Advances in Neural Information Processing Systems (NeurIPS)*.
- Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. *NAACL*.
- Brown, T. et al. (2020). Language Models are Few-Shot Learners. *NeurIPS*.

자기 주의는 현대 인공지능의 핵심 기술 중 하나로, 언어의 복잡한 구조를 이해하고 생성하는 데 있어 혁신적인 기여를 하고 있습니다.